Semasa zaman kanak-kanak, Fandi mula taksub dengan bola sepak dan sering meluangkan banyak masanya dengan menendang bola. Keluarganya tinggal di sebuah pangsapuri HDB dua bilik di Hospital Woodbridge. Keluarganya bukanlah berasal dari golongan berada; beliau terpaksa menjual nasi lemak bagi membantu menyara beliau sekeluarga.[8][13] Bapa beliau, Ahmad Wartam ketika itu merupakan penjaga gol untuk pasukan kebangsaan.[14] Fandi mula bermain sebagai penjaga gol, tetapi telah dinasihatkan oleh seorang guru untuk beralih ke bahagian tengah.[15] Apabila beliau berusia 12 tahun, ibu bapanya bercerai, selepas itu beliau tinggal bersama bapanya dan datuk dan nenek sebelah bapanya. Di Sekolah Menengah Serangoon Gardens, Fandi bermain untuk pasukan bola sepak sekolah, tetapi mengabaikan pelajarannya dan dikekalkan. Beliau kemudian dipindahkan ke Institut Kemahiran Singapura dan memperolehi Sijil Sekerja Kebangsaan 3. Beliau bermain untuk Kelab Bola Sepak Kaki Bukit dalam Liga Bola Sepak Kebangsaan amatur, di mana bakat beliau telah dikesan oleh jurulatih Singapore FA Sebastian Yap.[16]